روش پیش‌تعلیم لایه‌به‌لایه دوسویه برای تعلیم شبکه‌های عصبی عمیق

Authors

  • سید علی سیدصالحی - دانشیار، دانشکده مهندسی پزشکی، دانشگاه صنعتی امیرکبیر، تهران، ایران
Abstract:

در این مقاله، یک روش پیش‌تعلیم دوسویه برای همگرا نمودن تعلیم شبکه‌های عصبی عمیق با یادگیری دیگرانجمنی ارائه شده است. تعلیم این شبکه‌ها به‌دلیل مواجه بودن با تعداد بالای کمینه‌های موضعی اغلب همگرا نمی‌گردد. این در حالی است که با مقداردهی اولیه مناسب وزن‌های شبکه، می‌توان از بسیاری از کمینه‌های موضعی اجتناب نمود. روش پیش‌تعلیم لایه‌به‌لایه دوسویه روشی سریع و کارا می‌باشد که در یک مسیر دوسویه به‌طور جلوسو و عقب‌سو با استفاده از ورودی‌ها و خروجی‌های مطلوب شبکه، به تنظیم مقادیر اولیه وزن‌های آن می‌پردازد. برای این منظور از تعلیم شبکه‌های کمکی یک لایه پنهان مبتنی بر وزن‌های لایه تحت پیش‌تعلیم از شبکه عمیق و وزن‌های کمکی استفاده می‌شود. سپس مقادیر وزن حاصل از تعلیم اینها در ساختار اصلی شبکه تحت پیش‌تعلیم قرار داده می‌شوند و برای تنظیم دقیق وزن‌ها، تعلیم یکپارچه صورت می‌گیرد. این روش برای پیش‌تعلیم وزن‌های سه شبکه عصبی عمیق بازشناس فرد، حالت‌های احساسی و ارقام دستنوشتار مورد استفاده قرار گرفت و نشان داده شد که با به‌کارگیری این روش پیش‌تعلیم، سرعت همگرایی تعلیم به‌طور چشمگیری افزایش می‌یابد. همچنین میزان بازشناسی‌ها در پایگاه داده‌های چهره به میزان قابل توجهی بهبود می‌یابد که حاکی از افزایش قدرت تعمیم شبکه با استفاده از این روش می‌باشد.

Upgrade to premium to download articles

Sign up to access the full text

Already have an account?login

similar resources

روش پیش تعلیم لایه به لایه دوسویه برای تعلیم شبکه های عصبی عمیق

در این مقاله، یک روش پیش تعلیم دوسویه برای همگرا نمودن تعلیم شبکه های عصبی عمیق با یادگیری دیگرانجمنی ارائه شده است. تعلیم این شبکه ها به دلیل مواجه بودن با تعداد بالای کمینه های موضعی اغلب همگرا نمی گردد. این در حالی است که با مقداردهی اولیه مناسب وزن های شبکه، می توان از بسیاری از کمینه های موضعی اجتناب نمود. روش پیش تعلیم لایه به لایه دوسویه روشی سریع و کارا می باشد که در یک مسیر دوسویه به ط...

full text

روش پیش تعلیم سریع بر مبنای کمینه سازی خطا برای همگرائی یادگیری شبکه های عصبی با ساختار عمیق

در این مقاله با توسعه روش های موجود و بر مبنای کمینه سازی خطا و حفظ تمایز بیشینه مابین نمونه ها یک روش پیش تعلیم لایه به لایه سریع و کارا جهت مقداردهی اولیه مناسب وزن ها در شبکه های عصبی با ساختارهای عمیق ارائه شده است. تعلیم شبکه های عصبی عمیق به دلیل مواجه با تعداد بالای کمینه های موضعی اغلب همگرا نمی گردد. درحالیکه با مقداردهی اولیه مناسب وزن های شبکه به جای مقادیر تصادفی در ابتدای مسیر تعلی...

full text

روش پیش‌تعلیم سریع بر مبنای کمینه‌سازی خطا برای همگرائی یادگیری شبکه‌های‌ عصبی با ساختار عمیق

In this paper, we propose efficient method for pre-training of deep bottleneck neural network (DBNN). Pre-training is used for initial value of network weights convergence of DBNN is difficult because of different local minimums. While with efficient initial value for network weights can avoided some local minimums. This method divides DBNN to multi single hidden layer and adjusts them, then we...

full text

My Resources

Save resource for easier access later

Save to my library Already added to my library

{@ msg_add @}


Journal title

volume 6  issue 2

pages  1- 10

publication date 2015-08-23

By following a journal you will be notified via email when a new issue of this journal is published.

Hosted on Doprax cloud platform doprax.com

copyright © 2015-2023